Finetuned Language Models Are Zero-Shot Learners
IMO:instrunction tuningを提案した論文(モデルはFLAN)
NLPのタスクをinstructionという形式で同一視する方法が有効と示した
Abstract
We show that instruction tuning -- finetuning language models on a collection of tasks described via instructions -- substantially improves zero-shot performance on unseen tasks.
We take a 137B parameter pretrained language model and instruction-tune it on over 60 NLP tasks verbalized via natural language instruction templates.
FLAN even outperforms few-shot GPT-3 by a large margin on (略)
Figure 1
1.Introduction
GPT-3のような言語モデルはfew-shotでは性能がいいが、zero-shotでは性能が悪い
zero-shotでの性能を改善するというモチベーション
finetuning the model on a mixture of more than 60 NLP datasets expressed via natural language instructions
NLPのタスクは、自然言語の指示を介して記述できる(という直観)
Figure 2
事前訓練済みモデルのfine tuningは特定のタスクAのデータセットのみ
FLANは事前訓練済みモデルをたくさんのタスク(A以外のB,C,D)でinstruction tuningする
FLAN, for Finetuned Language Net
combines appealing aspects of both the pretrain–finetune and prompting paradigms by using supervision via finetuning to improve language model’s responses to inference-time text interactions.
データセットのイメージはFigure 4
Multiple instruction templates describing a natural language inference task.
含意関係認識
PremiseとHypothesisがあったときにyes/no
テンプレートに入れる
複数のテンプレート!
Figure 3 Datasets and task clusters used in this paper (NLU tasks in blue; NLG tasks in teal)